#!/bin/bash
#是什么？ hive外部表关联hdfs数据
#为什么？ hdfs数据是flink的结果，可以通过hive外部表使用sql语句进行统计。
#怎么办？ 定时关联，且hive的删除操作不会删除hdfs数据，比较安全。
export HADOOP_HOME=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/bin/../lib/hadoop
echo 'HADOOP_HOME:'$HADOOP_HOME
#版本1
#DATE=$(date +%Y-%m-%d)
#/usr/bin/hive -hivevar flink_data_table="dws_bms_charge_predict" -hivevar flink_data_time="$DATE" -hivevar flink_data_dir="/user/hive/warehouse/vaas_dws.db/dws_bms_chargepredict_partition/$DATE" -f hdfs://gw04:8020/user/hive/warehouse/vaas_dws.db/dws_cet_endtempesti_data/dws_cet_endtempesti.sql

#版本2 通用型
dir_list=$(/usr/bin/hadoop fs -ls hdfs://gw04:8020/external/data/dws/dws_bms_chargepredict_partition_data|awk -F '_data/' '{print $2}'|sed '/^$/d')
for DATE in $dir_list
do
  echo $DATE
  /usr/bin/hive -hivevar flink_data_table="dws_bms_chargepredict_partition" -hivevar flink_data_time="$DATE" -hivevar flink_data_dir="/external/data/dws/dws_bms_chargepredict_partition_data/$DATE" -f hdfs://gw04:8020/user/hive/warehouse/vaas_dws.db/dws_cet_endtempesti_data/dws_cet_endtempesti.sql
done
